skill-up评测并持续演进 Agent Skill

度量 Skill 质量，再把失败转化为自动修复和下一轮迭代。

skill-upper 从评测到演进

通过自然对话创建评测，让 skill-upper 诊断失败、修复或补充用例，并持续重新运行 skill-up，推动评测集不断演进。

了解更多

通过 YAML（eval.yaml + cases/*.yaml）定义评测环境、引擎、模型与用例。

配置参考

支持 Qoder CLI、Claude Code、Codex 等多种 Agent Engine。

内置 rule_based、script、agent_judge 三类评判策略。

评估策略

输出 Anthropic 兼容的 grading.json、benchmark.json，以及 result.json、JUnit XML 与 HTML 报告。

产物结构

通过 skill-up import 导入 evals.json，或使用 --auto 自动识别。

迁移指南

同时面向本地开发与持续集成流水线设计。

退出码说明

skill-up 将 Agent Skill 的评测与演进合为一个闭环：通过声明式 YAML 评测、隔离的多引擎运行、灵活的 Judge 和结构化报告，让质量可度量；再由 skill-upper 把失败转化为改进，自动修复或补充 eval 用例，并与你持续重跑和迭代。

同一套流程既可在本地运行，也可接入 CI；同时兼容 Anthropic evals.json 导入，并输出 JSON、JUnit 和 HTML 报告。

skill-up 通过自动修复和迭代 eval 来评测并演进 Agent Skill